1.1 课程介绍
- 举例：房价预测
美国房子主人会公布一个最低价，然后很多人竞价，价格最高的可以拍卖。因此，机器学习算法可以预测竞价保证自己能拍到。 - 机器学习过程：
- 机器学习的挑战：
- 形成问题：关注于那些可以产生更多影响的业务问题
- 数据：数据清洗产生高质量数据，个人隐私问题
- 训练模型：模型昂贵且越来越复杂
- 部署模型：产品部署后，如果购物信息没有及时跳出，用户会划掉，因此部署和推断时间非常重要
- 监督：数据分布调整，公平性问题（某一部分人群数据是准的，另一部分不准）
- 角色：
- 领域专家：有商业理解，知道哪些数据更重要
- 数据科学家：挖掘数据，训练模型
- 机器学习专家：定制化模型用于产品需求
- 软件开发工程师：管理资源（比如拼多多实习，里面要做个模型试验首先要经过审核报备，同意之后才可以新建实验，然后填写实验信息和分配资源和算力，在终端中进行试验；中途可能会碰到问题，比如同时有很多的模型训练任务，可能导致gpu不够，因此需要协调gpu的调度等）